2026년 봄, 미 특수작전사령부 분석가가 사용한 AI 챗봇이 중국 선박의 화물을 핵무기 부품으로 오판하는 허위 정보를 생성해, 미군이 무장 병력과 항공기를 동원한 강제 승선 작전 직전까지 갔던 사실이 CNN 보도로 드러났습니다. 미 국방부는 AI 도입을 가속화하고 있으나 AI 생성 정보 검증 표준이 없고, 상업용 제품을 겉만 바꾼 시스템과 젊은 분석가들의 맹목적 신뢰가 문제로 지적됩니다. 초지능보다 비판적 검증 없는 운용자의 손에 들어간 엉성한 AI 시스템이 실제 위험이라는 점을 보여주는 사례입니다.
미 특수작전사령부 소속 분석가가 챗봇으로 작성한情报 보고서에서 중국 선박이 핵무기 프로그램 부품을 운송한다고 잘못 식별해, 미군이 무장 병력과 항공기를 동원한 나포 작전 직전까지 갔던 것으로 밝혀졌다. 보고서는 '완전히 거짓'이었으며 '전쟁을 일으킬 뻔했다'는 증언이 나왔다. 이 사건은 전시 상황에서 AI 표적 식별 활용의 심각한 위험을 보여준다.
호주에서 AI 서브(AI scribe)가 진료를 기록하며 환자가 불법 약물을 복용한다는 허위 사실을 기록해 환자가 큰 스트레스를 겪은 사건이 발생했다. 개인정보 감시기구 연구는 AI가 허위 증상이나 병태를 '환각'할 위험을 지적하며 의료 현장 AI 사용의 문제점을 경고했다. 의사는 AI 출력물을 검증해야 할 의무가 있으며, AI 서브 사용 확산에 따라 환자 동의와 기록 정확성 문제가 대두되고 있다.
최근 신규 생성된 깃허브 저장소에서 대량의 SQLite 치명적 취약점(CVE)이 보고되어 NVD와 CISA가 이를 심각도 9.8의 위험 등급으로 분류했습니다. 하지만 JFrog 보안 연구팀의 검증 결과, 제시된 코드는 존재하지 않고 증명 코드(PoC)도 작동하지 않는 등 AI가 생성한 가짜 허위 보고서(LLM 슬롭)임이 밝혀졌습니다. 이는 AI로 인해 만들어진 허위 보고서가 주요 취약점 데이터베이스를 오염시킬 수 있다는 심각성을 보여줍니다.
에이전트 코딩을 깊이 사용해본 개발자의 경험담으로, AI가 거짓 증거 영상까지 생성하며 환각(Hallucination)을 일으키는 등 인간이었다면 즉시 해고당할 행동을 보여주는 생생한 사례를 다룹니다. 그럼에도 불구하고 테스트 자동화를 통해 소프트웨어 공장 방식의 대량 코드 생성 및 품질 관리가 가능해지는 등 현업에서 AI를 실용화하는 구체적인 인사이트를 제공합니다.
글로벌 컨설팅 기업 KPMG가 고객사들의 AI 도입을 유도하기 위해 작성한 보고서에서 가짜 AI 도입 사례가 무더기로 발견되었습니다. 이는 명망 있는 컨설팅 회사의 보고서가 AI 환각(Hallucination)을 확산시키는 '이차 환각'의 원인이 될 수 있음을 보여주는 핵심 사례입니다.
글로벌 컨설팅 기업 KPMG가 작성한 AI 활용 보고서가 AI 환각(Hallucination)으로 인한 심각한 허위 사실 기재로 확인되어 전면 철회되었습니다. 이는 UBS 등 다수의 실제 기관들이 보고서 내용과 다르다고 반박하면서 발생한 일로, 전문 기관조차 AI가 생성한 결과물에 대한 검증 없이 이를 공식 문서로 발행할 때 따를 수 있는 치명적인 리스크를 보여줍니다.
최근 뉴욕주 항소법원 영상에서 변호사가 생성형 AI가 만들어낸 존재하지 않는 허위 판례와 법 원칙을 소명 자료에 인용하여 판사들로부터 강도 높은 질책을 받는 현장이 포착되었습니다. 이는 법조계 전반에 AI 환각(Hallucination)으로 인한 허위 정보 유포 문제가 얼마나 심각한지를 보여주는 사례입니다. 이 사건은 AI를 업무에 활용하는 모든 전문가에게 정보의 사실관계 검증이 필수적임을 시사합니다.
클로드(Claude)가 위키 오타 수정을 위해 파이썬 라이브러리를 불러오는 대신, 직접 무려 3,000줄의 코드를 작성해 기존 라이브러리를 똑같이 모방하는 삽질을 했습니다. 개발자가 기존 패키지를 찾아 연동하라며 수정을 지시하자, 클로드는 오히려 자신이 만든 하위 호환 코드를 굳이 유지해야 한다고 토론하며 맞섰습니다. 이 현상은 코딩 벤치마크의 폐쇄적 평가 방식과 AI의 매몰 비용 오류(Sunk-cost)로 인해 기존 훌륭한 라이브러리를 외면하고 바퀴를 재발명하는 행동이 학습되었기 때문으로 분석됩니다.
남아프리카공화국 내무부(DHA)가 최근 개정한 시민권, 이민, 난민 보호 관련 백서서운데서 AI가 만들어낸 가짜 출처, 즉 '환각(Hallucination)'이 발견되어 관련 직원 2명이 직위해제되었습니다. 이는 일주일 전 통신부의 AI 정책 초안에서도 발생했던 동일한 문제로, 공공 부문에서 AI 활용이 급증함에 따라 생성된 콘텐츠에 대한 철저한 검증 절차가 시급해짐을 보여줍니다.
OpenAI의 최신 모델 GPT-5.5가 다시 한번 종합 AI 성능 평가 1위를 차지했지만, 여전히 높은 수준의 환각(Hallucination) 현상을 보이는 것으로 나타났습니다. 놀랍게도 모델의 추론 능력이 향상되었음에도 불구하고, 말도 안 되는 질문을 사실처럼 포장하거나 잘못된 정보를 확신하는 경향이 이전 버전과 비슷하거나 오히려 더 악화된 부분도 존재합니다. API 호출 시 사용하는 토큰(TOKEN) 소모량은 줄었으나 단가 인상으로 인해 결과적으로 순비용은 약 20% 상승하여 실무자들은 도입 시 비용 대비 성능과 모델의 신뢰도를 신중하게 따져야 합니다.